Hadoop 优化工作优化技术

Mapper任务：
Mapper任务是一个名词，用来形容在记录读取器中用来读取每条记录和产生对应中间件键值对儿的过程，Hadoop Mapper存储输出介质数据在本地磁盘上。

2.2 LZO 压缩用法
有一个非常的概念去中转数据，几乎所以的Hadoop任务在产生大量的map型输出时都会用到LZO的中转数据压缩的功能。尽管LZO增加了一些CPU的使用，它仍然在读写硬盘这种数据穿梭方式中节省了大量的时间。

开启LZO 压缩需要将mapred.compress.map.output设置为true. 这是Hadoop优化技术的最重要的组成部分之一。

2.3 适当调节MapReduce任务的数量
如果每个任务的执行时间大于30-40秒，那么减少任务的数量。mapper 和 reducer进程的开始涉及以下内容：首先需要将JAVA虚拟机加载到内存中，然后需要初始化JAVA虚拟机，在mapper或者reducer执行之后，你需要取消初始化JAVA虚拟机。所有这些JAVA虚拟机任务都是耗费系统资源的。想象一下，一个mapper任务只需要20-30秒的时间就可以完成，再此过程中你需要开启、初始化和终止JAVA虚拟机，这个过程本身就会耗费一定的时间。所以推荐的任务运行时间至少为1分钟。
如果一个任务的数据需要超过1TB的输入，你需要增加输入数据块的大小，提升至256M甚至512M，从而减少并发任务的数量。可以通过以下命令来来改变任务块的大小。

Hadoop distcp –[Hdfs](http://data-flair.training/blogs/top-hdfs-commands-tutorial/).block.size=$[256*1024*1024] /path/to/inputdata /path/to/inputdata-with-largeblocks

只要每个任务的运行时间至少持续30-40秒，应该增加mapper任务的数量几倍于急群众mapper槽的数量。不要制定过多的reduce任务，对于大多数任务来说， reduce的任务应该比reducer槽的数量少一点点。

2.4 在mapper和reducer中间的聚合器
如果你的算法涉及到任何类型的聚类，建议在数据到达还原器之前使用组合器来执行一些聚合。MapReduce这个框架智能智能的运行一些组合器，减少一定量的数据写入磁盘，同时可以转化在Map和Reduce的计算。

2.5 应用更合适的数据类型来压缩可写类型的数据

大数据新用户和老用户在hadoop流和 JAVA MapReduce之间切换的时候，经常用一些不必要的可写文本类型。尽管文本是很方便的，但是在数值型数据从UTF8的字符转转化过程中，明显的使CPU增加了一定比例的计算时间。所以不论何时，处理非文本数据类型时，都要首先考虑二进制可写的IntWriteable, floatWriteable等。

2.6 再利用可重写

MapReduce 用户通常会犯的一个错误是，给每个mapper或reducer的输出都分配一个新的可写类型。比如实现一个字数统计mapper

public void map(...){
...
for(String word : words){
output.collect(new Text(word), new IntWritable(1))；
}
}

这种实现方式导致分配了成千的短期存在的对象。尽管JAVA的垃圾回收机制在处理这种问题上做了合理的处理,这样写才能更高效。

class MyMapper ... {
Text wordText = new Text();
IntWritable one = new IntWritable(1);
public void map(...){
... for (String word: words){
wordText.set(word);
output.collect(word, one);
}
}
}

当数据流在MapReduce中流动的时候，这同时也是一个Hadoop任务的优化技巧之一。

3.总结
在今天的教程中，我们可以看到有多种优化方式帮助你咋MapReduce中优化任务。像在mapper和reducer之间利用combiner，利用LZO压缩工具，适当的调节MapReduce的任务数量和重用可写对象。

Hadoop 优化 工作优化技术

推荐阅读更多精彩内容

Hadoop 优化工作优化技术